我们提出了Diffustereo,这是一种仅使用稀疏相机(在这项工作中8)进行高质量3D人类重建的新型系统。其核心是一种新型基于扩散的立体声模块,该模块将扩散模型(一种强大的生成模型)引入迭代立体声匹配网络中。为此,我们设计了一个新的扩散内核和其他立体限制,以促进网络中的立体声匹配和深度估计。我们进一步提出了一个多级立体声网络体系结构,以处理高分辨率(最多4K)输入,而无需无法负担的内存足迹。考虑到人类的一组稀疏视图颜色图像,提出的基于多级扩散的立体声网络可以产生高准确的深度图,然后通过有效的多视图融合策略将其转换为高质量的3D人类模型。总体而言,我们的方法可以自动重建人类模型,其质量是高端密集摄像头钻机,这是使用更轻巧的硬件设置来实现的。实验表明,我们的方法在定性和定量上都优于最先进的方法。
translated by 谷歌翻译
我们提出了FITE,这是一种对服装中的人体化身进行建模的第一刻度框架。我们的框架首先学习了代表粗衣拓扑的隐式表面模板,然后采用模板来指导点集的产生,从而进一步捕获姿势依赖的服装变形,例如皱纹。我们的管道结合了隐式和明确表示的优点,即处理变化拓扑的能力以及有效捕获细节的能力。我们还提出了扩散的皮肤,以促进模板训练,尤其是用于宽松衣服的模板训练,以及基于投影的姿势编码,以从网格模板中提取姿势信息,而无需预定义的紫外线图或连接性。我们的代码可在https://github.com/jsnln/fite上公开获取。
translated by 谷歌翻译
时间网络链接预测是网络科学领域的重要任务,并且在实际情况下具有广泛的应用。揭示网络的进化机制对于链接预测至关重要,如何有效利用历史信息来实现时间链接并有效提取网络结构的高阶模式仍然是一个至关重要的挑战。为了解决这些问题,在本文中,我们提出了一个具有调整后的Sigmoid函数和2-Simplex结构(TLPSS)的新型时间链接预测模型。调整后的Sigmoid衰减模式考虑了活跃,衰减和稳定的边缘状态,这适当适合信息的生命周期。此外,引入了由单纯形高阶结构组成的潜在矩阵序列,以增强链接预测方法的性能,因为它在稀疏网络中非常可行。结合信息的生命周期和单纯级结构,通过满足动态网络中时间和结构信息的一致性来实现TLPS的整体性能。六个现实世界数据集的实验结果证明了TLPS的有效性,与其他基线方法相比,我们提出的模型平均提高了链接预测的性能15%。
translated by 谷歌翻译
Most real-world networks suffer from incompleteness or incorrectness, which is an inherent attribute to real-world datasets. As a consequence, those downstream machine learning tasks in complex network like community detection methods may yield less satisfactory results, i.e., a proper preprocessing measure is required here. To address this issue, in this paper, we design a new community attribute based link prediction strategy HAP and propose a two-step community enhancement algorithm with automatic evolution process based on HAP. This paper aims at providing a community enhancement measure through adding links to clarify ambiguous community structures. The HAP method takes the neighbourhood uncertainty and Shannon entropy to identify boundary nodes, and establishes links by considering the nodes' community attributes and community size at the same time. The experimental results on twelve real-world datasets with ground truth community indicate that the proposed link prediction method outperforms other baseline methods and the enhancement of community follows the expected evolution process.
translated by 谷歌翻译
我们介绍了Doublefield,这是一个新颖的框架,结合了高保真人体重建和渲染的表面场和辐射场的优点。在DoubleField中,表面字段和辐射字段通过共享特征嵌入和表面引导采样策略相关联。此外,将视图到视图变压器被引入熔丝多视图特征,并直接从高分辨率输入学习视图依赖性功能。通过DoubleField和视图到视图变压器的建模功能,我们的方法显着提高了几何形状和外观的重建质量,同时支持直接推理,现场特定的高分辨率FineTuning和快速渲染。 Doublefield的功效通过多个数据集的定量评估和真实世界稀疏多视图系统的定性结果验证,显示了其高质量人体模型重建和光学真实自由观点人类渲染的优异能力。数据和源代码将公开用于研究目的。请参阅我们的项目页面:http://www.liuyebin.com/dbfield/dbfield.html。
translated by 谷歌翻译
我们提出了一个基于神经网络的系统,用于长期,多动能人类运动合成。该系统被称为神经木偶,可以从简单的用户输入中平稳过渡,包括带有预期动作持续时间的动作标签,以及如果用户指定的话,则可以产生高质量和有意义的动作。我们系统的核心是一种基于变压器的新型运动生成模型,即Marionet,它可以在给定的动作标签给定不同的动作。与现有运动生成模型不同,Marionet利用了过去的运动剪辑和未来动作标签的上下文信息,专门用于生成可以平稳融合历史和未来动作的动作。具体而言,Marionet首先将目标动作标签和上下文信息编码为动作级潜在代码。该代码通过时间展开模块将代码展开为帧级控制信号,然后可以将其与其他帧级控制信号(如目标轨迹)结合使用。然后以自动回归方式生成运动帧。通过依次应用木偶,系统神经木偶可以借助两个简单的方案(即“影子开始”和“动作修订”)来稳健地产生长期的多动作运动。与新型系统一起,我们还提供了一个专门针对多动运动综合任务的新数据集,其中包含动作标签及其上下文信息。进行了广泛的实验,以研究我们系统产生的动作的动作准确性,自然主义和过渡平滑度。
translated by 谷歌翻译
粒子过滤是针对多种顺序推断任务的标准蒙特卡洛方法。粒子过滤器的关键成分是一组具有重要性权重的粒子,它们可以作为某些随机过程的真实后验分布的代理。在这项工作中,我们提出了连续的潜在粒子过滤器,该方法将粒子过滤扩展到连续时域。我们证明了如何将连续的潜在粒子过滤器用作依赖于学到的变异后验的推理技术的通用插件替换。我们对基于潜在神经随机微分方程的不同模型家族进行的实验表明,在推理任务中,连续时间粒子滤波在推理任务中的卓越性能,例如似然估计和各种随机过程的顺序预测。
translated by 谷歌翻译
图像和语言建模对于视觉前训练(VLP)至关重要,该培训旨在从大规模配对的图像文本数据中学习多模式表示。但是,我们观察到,大多数现有的VLP方法着重于建模图像和文本特征之间的相互作用,同时忽略图像和文本之间的信息差异,从而遭受焦点偏见。为了解决这个问题,我们提出了一个视觉语言掩盖自动编码器框架(VLMAE)。VLMAE采用视觉生成学习,促进该模型获得细粒度和公正的特征。与以前的作品不同,Vlmae注意图像中几乎所有关键的补丁,提供了更全面的理解。广泛的实验表明,VLMAE在各种视觉语言下游任务中取得更好的性能,包括视觉问答,即使有20%的预训练速度,图像文本检索和视觉接地也是如此。
translated by 谷歌翻译
基于文本的人检索旨在根据文本描述找到查询人员。关键是学习视觉文本模式之间的常见潜在空间映射。为了实现这一目标,现有的作品采用细分来获得明确的跨模式对齐方式或利用注意力来探索显着对准。这些方法有两个缺点:1)标记交叉模式比对很耗时。 2)注意方法可以探索显着的跨模式对齐,但可能会忽略一些微妙而有价值的对。为了缓解这些问题,我们为基于文本的人检索引入了一个隐式视觉文本(IVT)框架。与以前的模型不同,IVT利用单个网络来学习两种模式的表示形式,这有助于视觉文本相互作用。为了探索细粒的对准,我们进一步提出了两个隐式语义比对范式:多级比对(MLA)和双向掩码建模(BMM)。 MLA模块在句子,短语和单词级别上探索了更精细的匹配,而BMM模块旨在挖掘视觉和文本模态之间的\ textbf {更多}语义对齐。进行了广泛的实验,以评估公共数据集中提出的IVT,即Cuhk-Pedes,RSTPREID和ICFG-PEDES。即使没有明确的身体部位对准,我们的方法仍然可以达到最先进的表现。代码可在以下网址获得:https://github.com/tencentyouturesearch/personretrieval-ivt。
translated by 谷歌翻译
该技术报告介绍了MTVG的第三次获胜解决方案,这是在ACM MM 2022中的第4-人(PIC)挑战中引入的一项新任务。MTVG旨在根据文本拟定视频将步骤的时间边界定位在文本视频中描述。这项任务的最大挑战是化妆步骤的Fi ne Grean Video-Text语义。但是,当前方法主要使用基于动作的预训练模型提取视频功能。由于动作比化妆步骤更粗糙,因此基于动作的特征不足以提供提示。为了解决这个问题,我们建议通过利用特征多样性来实现Fi ne Grean的表示。具体而言,我们提出了一系列从特征提取,网络优化到模型集合的方法。结果,我们在MTVG比赛中获得了第三名。
translated by 谷歌翻译